Caroline sinh ra là một Công chúa xứ Braunschweig với tước vị Nữ Công tước xứ Braunschweig-Wolfenbüttel vào ngày 17 tháng 5 năm 1768 tại Braunschweig (tiếng Anh gọi là Brunswick), Đức. Bà là con gái của Karl Wilhelm, Công tước xứ Braunschweig-Wolfenbüttel và vợ là Công chúa Augusta của Vương quốc Anh, chị cả của George III.[1]

Caroline được nuôi dưỡng trong hoàn cảnh khắc nghiệt. Mẹ bà giận dữ vì chuyện ngoại tình của cha bà với Louise Hertefeld, tình nhân chính thức của ông vào năm 1777. Caroline sau đó đã tâm sự với Lady Charlotte Campbell rằng bà mệt mỏi khi trở thành "quả cầu" giữa cha mẹ mình, bởi bất cứ khi nào bà đứng về phía một trong hai người, bà chắc chắn sẽ bị người kia chửi mắng.[2]